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摘要 : 【 目的 】 互 联网 、 午 能 设备 及 各 种 新 生 业 务 的 飞速 发 展 使 海量 的 互联 网 信息 夹杂 着 大 量 暴力 敏感 、 低 俗 等 垃 
圾 信息 。 随 着 国家 对 内 容 安 全 监管 的 日 渐 严格 ,本 文 研究 实现 对 海量 的 互联 网 信息 的 快速 、 精 准 内 容 安全 审核 的 方法 。 
【 方法 】 主要 运用 大 数据 、 人 工 智能 技术 对 数字 内 容 审核 、 过 滤 方 式 进行 革新 。【 结果 】 实 现 将 新 技术 与 传统 编审 
机 制 进行 融合 。【 结论 ] 将 人 力 密 集 、 脑 力 密集 向 创新 密集 、 技 术 密 集 转型 升级 ， 是 解决 媒体 行业 跨 模 态 内 容 安 全 
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导语 

在 媒体 数字 化 迅速 发 展 的 今天 ， 网 络 信息 的 发 布 
环境 日 益 复 杂 ， 内 容 良 劳 不 齐 。 同 时 ， 自 媒体 时 代 的 
到 来 也 带 来 了 爆发 式 增长 的 内 容 体 量 和 种 类 ， 内 容 生 
产 、 传 播 的 形式 发 生 了 巨大 变化 ,传统 的 内 容 审核 与 
监管 方式 耗费 的 资源 在 大 幅 增长 ， 但 是 工作 效率 却 难 
以 提高 。 随 着 互联 网 、 智 能 设备 及 各 种 新 生 业 务 的 飞 
速 发 展 ， 每 天 通过 互联 网 上 传 的 视频 、 图 片 、 语 音 数 
量 超过 10 亿 ， 通 过 各 种 社交 网 络 、 媒 体 平台 的 发 文 数 
量 超过 5 亿 ， 而 且 这 种 趋势 还 是 继续 快速 增长 ， 但 是 
海量 的 互联 网 信息 中 部 分 夹杂 着 暴力 敏感 、 低 俗 等 垃 
圾 信息 。 国家 针对 内 容 安全 监管 日 渐 严 格 ， 传 统 的 
文字 校对 及 过 滤 系 统 已 经 不 能 满足 快速 发 展 的 移动 互 
联网 时 代 内 容 安 全 审核 的 需求 ， 跨 模 态 内 容 安全 审核 
技术 成 为 互联 网 不 得 不 面临 的 严峻 挑战 。" 

传统 大 型 网 站 的 内 容 审 核 习惯 于 采用 人 工 审核 的 
形式 ， 审 核 人 员 对 内 容 信息 逐条 进行 分 析 判 断 ， 不 管 
是 效率 还 是 准确 性 都 难以 得 到 保证 。 随 着 人 工 智能 技 
术 的 不 断 成 熟 ， 自 然 语 言 处 理 、 图 像 识 别 、 声 纹 识别 
等 技术 已 可 成 熟 应 用 于 大 部 分 数字 媒体 领域 。 ”人工 
智能 领域 的 深度 学 习 和 自然 语言 处 理 算法 的 飞速 发 展 
给 上 述 问 题 带 来 了 创新 式 的 解决 方案 ,不 仅 能 够 精准 
识别 内 容 中 出 现 的 风险 敏感 信息 ， 还 能 够 极 大 降低 内 
容 审核 的 人 力 成 本 。 人 工 智能 技术 的 引入 将 彻底 改变 
传统 的 内 容 审核 形式 ， 实 现 对 互联 网 内 容 信息 的 实时 
审核 ， 无 论 是 审核 效率 还 是 审核 精度 ， 都 将 得 到 极 大 
提升 。 "运用 大 数据 、 人 工 智能 技术 对 数字 内 容 审 核 、 


过 滤 方 式 进行 革新 ， 将 高 科技 与 传统 编审 机 制 进行 融 
合 ， 将 人 力 密集 、 脑 力 密集 向 创新 密集 、 技 术 密集 转 
型 升级 ， 是 解决 媒体 行业 跨 模 态 内 容 安 全 审核 困境 的 
有 效 途径 和 必然 发 展 趋势 。 
1. 系统 架构 设计 

多 模 态 内 容 审核 是 内 容 安全 审核 系统 的 核心 能 
依托 行业 内 领先 的 深度 学 习 技 术 、 自 然 语言 处 理 、 图 
像 文字 识别 ( OCR ) 、 自 动 语音 识别 ( ASR ) 等 技术 ， 
系统 可 提供 针对 图 片 、 视 频 、 文 字 、 音 频 等 多 媒体 内 
容 风险 智能 识别 服务 。 在 服务 模式 上 灵活 多 样 化 ， 支 
持 APISDK、SaaSs、 私 有 化 部 署 等 多 种 服务 方式 ， 须 
保证 高 可 用 、 高 性 能 等 特性 。 户 

多 模 态 内 容 安 全 审核 系统 是 一 个 复杂 的 系统 ， 包 
含 诸多 模块 ， 这 些 模块 按照 功能 可 以 划分 为 一 个 典型 
的 层级 架构 ， 如 图 1: 


接 入 层 提 制 台 API/SDK | 一 灵活 的 接 入 方法 


贬 肢 | 风量 | | # || 有 | | 8 | | 视图 上 分析 ， 审 本 名和 统 


通用 平台 | 和 | 人 |] [am ] | 二 + | |- 一通 的 平台 ， 业 和 人 入 


台 “|| 和 了 部 寺 | | 拓也 | | 人 检查 | | 扑 了 滑 度 || 并 改制 | | 民居 处 理 | 一 一 > 强大 的 算 了 平台 
NE e 站 了 出 撤 入 , 记 


基础 软件 | DB | 由 间作 | 一 一 > 基于 K8S 部 署 的 基础 应 用 软件 


系统 软件 CUDA 直人 统 网 作 权 |， 直接 安装 在 物理 机 上 软件 


物理 设施 || epu || eru || cpu || cpu || MEM || SATA || ssp || NET || 一 一 ， 集群，GPU 推 荐 P4 


图 1 多 模 态 内 容 安 全 审核 系统 业务 架构 


150| 传媒 技 术 


202310.00106v1 


chinaXiv 


(1) 物理 设施 : 一 组 物理 机 构成 的 集群 ， 提 供 
了 GPU (推荐 P4) 、CPU、 内 存 、 人 磁盘 、 网 卡 等 物理 
资源 。 

(2 ) 系统 软件 : 指 直接 安装 在 物理 机 上 的 软件 。 
虚拟 化 与 编排 利用 开源 软件 Docker 和 K8S 对 物理 机 集 
群 进行 资源 虚拟 化 ， 并 提供 编排 API 供 上 游 调度 和 使 
用 。 上 层 的 软件 都 是 通过 K8S 进行 安装 和 部 署 的 。 安 
全 鉴 权 依赖 外 搬 式 加 密 狗 实现 的 鉴 权 服务 ， 保 证 了 多 
模 态 内 容 安全 审核 系统 提供 的 多 个 算 子 ， 尤 其 是 AI 算 
子 的 安全 性 。 

(3 ) 基础 软件 : 包含 了 常见 的 基础 应 用 软件 。 
基于 ELK 搭建 的 日 志 收 集 、 检 索 、 查 看 平台 ; 基于 
Prometheus+Grafana 实现 的 监控 项 统计 、 查 看 、 报 警 平 
台 。 基 于 Ceph 搭建 的 分 布 式 文件 系统 ， 支 持 对 象 存 
储 、 块 设备 存储 、 文 件 系统 服务 。 数 据 库 使 用 高 可 用 
MySQL 集群 。 中 间 件 为 高 可 用 Redis 集群 、 ZooKeeper 
集群 。 

(4) 算 子 平台 : 算 子 是 多 模 态 内 容 安 全 审核 系统 
的 最 小 计算 单元 ， 算 子 的 输入 可 以 是 一 个 视频 ， 也 可 
以 是 视频 中 提取 的 音频 、 图 片 序列 ， 既 可 能 是 其 他 算 
子 的 输出 ， 也 可 能 是 这 几 种 可 能 输入 的 组 合 。 算 子平 
台 主 要 提供 算 子 的 自动 化 运 维和 算 子 任务 调度 两 种 能 
力 。 

(5 ) 通用 平台 : 通用 平台 不 是 一 个 平台 ， 而 是 多 
个 相对 独立 的 功能 模块 / 子 系统 的 合集 ， 这 些 子 系统 
不 直接 暴露 给 用 户 ,但 是 会 被 上 层 的 业务 系统 所 依赖 。 
主要 包括 下 列子 系统 。 

@ 自 定义 人 脸 识 别 系统 提供 了 自 定义 人 脸 底 库 
管理 、 人 脸 特 征 计算 ( 依赖 算 子平 台 ) 、 人 脸 检 索 能 力 。 

@ 数据 管理 平台 : 在 视频 AI 一体 机 中 ,输入 的 
视频 目前 仅 支 持 URL 格式 ， 数 据 管 理 平台 提供 了 数据 
拉 取 、 视 频 元 信息 计算 、 视 频 转 码 、 缩 略图 提取 、 音 
频 提取 与 VAD 切割 等 能 力 ; 同时 也 支持 将 视频 处 理 的 
中 间 结 果 进 行 缓存 和 复 用 。 

@ 评 佑 平台: 使 用 一 批 已 标注 的 数据 进行 测试 与 
评估 是 判断 一 体 机 效果 的 常用 方法 ， 这 一 过 程 往往 需 
要 人 工 进 行 发 起 预测 、 分 析 对 比 预 测 结果 与 统计 计算 
等 繁琐 的 操作 。 

@ 统计 平台 : 统计 平台 为 一 体 机 提供 了 服务 日 志 
查询 与 业务 信息 统计 的 能 力 。 通 过 对 服务 产生 日 志 的 
收集 与 存储 ， 提 供 一 个 统一 的 日 志 与 统计 数据 查询 入 
口 ,为 用 户 提 供 问题 排查 与 感知 业务 变化 趋势 的 途径 。 

@ 回调 服务 : 提供 了 在 特定 时 间 向 特定 地 址 发 送 


ChinaXiv 合 作 期 刊 


特定 消息 的 能 力 ， 同 时 支持 了 简单 的 重 试 、 并 发 控制 
策略 。 

@ 任务 调度 平台 : 支撑 了 视频 AI 一体 机 中 多 个 
模块 / 子 系统 的 调度 (例如 算 子 平台 、 数 据 管理 平台 、 
评估 平台 ) 能 力 ， 按 照 任务 队列 进行 任务 调度 隔离 ， 
实现 了 队列 自动 创建 和 清理 、 拥 塞 控制 、 调 度 并 发 配 
置 等 高 级 功能 ， 实 现 了 一 个 灵活 高 吞吐 的 任务 调度 平 


Es 
口 o 


(6) 业务 系统 : 该 系统 支撑 了 多 模 态 内 容 安 全 审 
核 系 统 不 同业 务 场 景 ( 如 文本 分 析 、 图 片 分 析 、 视 频 
分 析 ) 的 业务 执行 。 核 心 的 功能 包括 : 

@ 模板 管理 : 模板 配置 了 用 户 期 望 对 视频 进行 处 
理 的 算 子 类 型 ， 分 析 任 务 对 应 不 同 的 模板 。 

@ 并 发 控制 : 根据 系统 集群 的 大 小 ， 业 务 系统 需 
要 控制 并 发 处 理 的 视频 数量 。 

@ 视频 处 理 DAG 执行 : 根据 模板 配置 ， 业 务 系 
统 内 部 会 为 每 一 个 视频 处 理 任务 生成 算 子 执行 路 线 图 
(构成 一 个 DAG ) ,业务 系统 需要 根据 该 DAG 依次 
执行 每 个 算 子 ( 调用 通用 平台 及 算 子 平台 ) ， 最终 输 
出 结果 。 

@ 图 片 处 理 : 支持 图 片 分 析 、 审 核 等 业务 。 

@ 文本 处 理 : 支持 文本 审核 等 业务 。 

(7) 接 入 层 : 两 种 接 入 方式 

@ 控制 台 : 可 视 化 操作 界面 ， 可 以 对 模板 进行 创 
建 、 修 改 、 查 看 , 同时 也 可 以 发 起 审核 任务 并 查看 结果 。 

@ APISDK: 调用 业务 系统 Restful HTTP API 进行 
使 用 。 

2. 审核 能 力 及 识别 的 典型 风险 场景 设计 
2.1 文本 检测 

文本 检测 基于 海量 文本 特征 库 ,规则 库 .关键 词 库 、 
NLP 算法 文本 进行 过 滤 分 析 ， 帮 助 内 容 生 产 者 检测 制 
定 的 文本 中 是 否 包 含 违规 信息 , 例如 , 对 涉 黄 、 涉 钨 、 
涉 政 、 广 告 、 违 禁 、 辱 器 、 低 质 灌水 、 负 面 评 论 、 意 
识 形 态 风 险 预警 等 多 种 维度 进行 审核 ， 并 支持 自 定义 
文本 黑 库 。 应 支持 识别 的 典型 风险 场景 如 表 1。 

表 1 文本 检测 典型 风险 场景 描述 表 
场景 名 称 描述 
识别 检测 文本 包含 电话 、 微 信号 、QQ 号 、URL、 签 到 、 


广告 2Q 
引导 签名 、 搜 索 等 信息 
涉 政 识别 检测 文本 涉及 涉 政 负面 、 涉 政 不 确定 、 人 物 、 


人 物 演绎 、 事 件 、 事 件 演 绎 
导轨 识别 检测 文本 包括 严重 、 一 般 、 口 头 语 怕 加 信息 
色情 识别 检测 文本 包括 色情 违禁 、 性 知识 、 内 涵 等 内 容 
兼职 代理 | 识别 检测 文本 包括 兼职 、 上 屏 、 人 金融 短信 等 内 容 
自 定义 识别 检测 文本 命中 自 定 义 关键 词 
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2.2 图 片 检测 

图 片 检测 应 用 人 工 智 能 积极 学 习 算法 ， 通 过 深度 
学 习 模 型 快速 检测 出 包含 色情 、 涉 政 、 暴 疏 、 二 圾 广告 、 
图 文 违 规 、 图 片 Logo 等 违规 内 容 。 应 支持 识别 的 典型 
风险 场景 包括 表 2 内 容 : 


表 2 图 片 检测 典型 风险 场景 描述 表 


场景 名 称 描述 检测 结果 分 类 


险 测 图 片 是 否 包含 
图 片 和 能 鉴 黄 | 从 Pi 本 全 2 和 全 | 正常、 色情 、 性 感 


正常 、 血 腥 、 爆 炸 烟 光 、 特 
检测 图 片 是 否 包 含 暴 | 殊 装 束 、 特 殊 标识 、 武 器 、 
恶 或 涉 政 类 内 容 。 | 涉 政 、 打 斗 、 聚 众 、 游 行 、 
车 祸 现场 、 旗 帜 、 地 标 等 
正常 、 含 涉 政 内 容 、 含 涉 黄 
检测 图 片 是 否 包 含 广 | 内 容 、 含 恨 驾 内容、 含 暴 下 


图 片 暴怒 涉 政 


图 文 违规 | 告 和 文字 违规 信息 | 内 容 、 含 违禁 内 容 、 含 其 他 
垃圾 内 容 
4 检测 图 片 是 否 包含 二 二 
多 常 、 含 二 维 而 
图 片 二 维 码 维 码 或 小 程序 码 正常 、 含 二 维 码 
检测 图 片 是 否 包含 
图 片 logo ”jlogo 信息 ,例如 台 标 、| 正常 、 受 管控 的 logo、 商 标 
商标 等 


2.3 音频 检测 
语音 内 容 审核 帮助 内 容 生产 者 检测 音频 文件 或 语 
音 流 (例如 直播 流 ) 中 的 风险 或 违规 内 容 ， 例 如 垃圾 
言 息 、 广 告 、 涉 政 、 暴 恐 、 辱 号 、 色 情 、 灌 水 、 违 禁 、 
无 意义 内 容 。 应 支持 识别 的 风险 场景 见 表 3: 
表 3 音频 检测 典型 风险 场景 描述 表 


场景 名 称 描述 
广告 检测 音频 包含 电话 、 微 信号 、QQ 号 、URL 等 ， 引 
导 签 名 、 搜 索 、 签 到 等 信息 
涉 政 检测 音频 涉及 涉 政 负面 、 涉 政 不 确定 、 人 物 、 人 物 
演绎 、 事 件 、 事 件 演绎 
导轨 检测 音频 包括 严重 、 一 般 、 口 头 语 等 厚 加 信息 
基 检测 音频 包括 色情 违禁 、 性 知识 、 内 涵 、 娇 喘 咖 吟 
色情 二 
等 内 容 
兼职 代理 检测 音频 包括 兼职 、 上 屏 、 人 金融 短信 等 内 容 。 
自 定 义 检测 音频 命中 自 定 义 关 键 词 


2.4 视频 检测 

视频 检测 应 区 分 视频 文件 与 直播 流 ， 视 频 文 件 通 
过 对 视频 URL 地 址 解析 下 载 视频 后 支持 默认 时 间 截 帧 
和 用 户 自 顶 底 截 帧 频率 ， 进 行 截 帧 后 图 像 检 测 识别 。 
直播 则 通过 拉 流 的 方式 ， 获 取 视 频 流 数据 ， 并 自动 将 
视频 转化 成 图 片 (按照 设 定 频 率 截 帧 ) ， 然 后 对 截取 
的 图 片 进行 过 滤 检测 ， 应 支持 点 播 视频 、 直 播 视频 的 
过 滤 。 系统 应 支持 同步 与 异步 两 种 接口 识别 接 入 ， 
异步 检测 任务 不 会 实施 返回 检测 结果 ， 用 户 需要 通过 
Callback 或 者 轮 询 的 方式 获取 检测 结果 。" "视频 检测 
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应 支持 识别 的 风险 场景 见 表 4: 


表 4 视频 检测 典型 风险 场景 描述 表 


场景 名 称 描述 检测 结果 分 类 
险 测 视频 中 是 否 包含 色情 和 
视频 智能 鉴 黄 ee 正常 、 色 情 
、 、 给 测 视频 中 是 否 包含 暴 丽 要 、 
视频 暴 息 涉 政 ee 正常 、 暴 护 涉 政 
、 聆 测 视频 中 是 否 包含 特定 时 
视频 logo 和 ie 包含 特定 正常 、 包 含 logo 
、 、 聆 测 视频 中 是 否 包含 广告 | 。 、，，、，、 
视频 图 文 违规 EN 正常 、 广 告 或 文字 违规 
正常 、 含 垃圾 信息 、 广 
，，、。 | 告 、 涉 政 、 暴 怒 、 恒 名 
答 测 视频 中 的 语音 内 容 是 |、, 少 下 、 荣 心 、 全 为、 
视频 语音 违规 | 站 列 训 下 小包 区 间作 六 | 色情 、 灌 水、 违禁 、 自 
定义 (例如 命中 自 定义 
关键 词 ) 


3. 算法 识别 能 力 及 关键 技术 介绍 
3.1 鉴 黄 识别 

图 像 鉴 黄 是 利用 超大 规模 数据 所 提供 的 知识 来 对 
深度 神经 网 络 进行 引导 ， 训 练 出 多 个 极 具 泛 化 能 力 的 
网 络 模 型 ， 同 时 基于 蒸馏 学 习 的 思想 对 模型 复杂 度 和 
参数 规模 进行 大 幅 压 缩 ， 快 速 准 确 地 识别 出 色情 、 低 
俗 的 图 片 和 视频 ， 解 决 对 违规 内 容 识 别 的 问题 。 
3.1.1 步骤 

视频 检测 首先 进行 预 处 理 ， 提 取 关 键 图 像 帧 ， 转 
换 为 对 图 像 的 检测 。 

图 像 通 过 预先 训练 的 卷 积 网 络 提 取 特 征 。 

提取 的 特征 通过 全 卷 积 网 络 进行 二 分 类 ， 确 定 是 
否 为 色情 、 低 俗 图 片 。 


部 


3.1.2 原理 

想 要 教会 机 右 去 识别 色情 图 像 ， 需 利用 成 千 上 万 
的 图 片 样本 去 “训练 ” 它 ， 提 取 色 情 图 片 特征 并 不 断 
记忆 。 每 张 图 片 中 的 任何 一 个 点 都 包括 亮度 值 、 色 相 
值 以 及 饱和 度 值 ， 通 过 设置 这 三 个 值 的 大 小 范围 ， 机 
器 能 识别 出 “肉色 ”， 进 而 猜测 出 图 片 里 裸露 的 人 体 
皮肤 区 域 。” 

色情 图 片 最 明显 的 特点 就 是 画面 中 人 体 皮肤 颜色 
所 占 比例 较 大 ， 当 机 器 识别 图 片 中 有 类 似 人 体 肤 色 区 
域 后 ， 需 要 进一步 确认 区 域 的 来 源 ， 看 他 们 是 没有 穿 
衣服 的 女 主 角 还 是 正常 物体 。 假 设 两 块 黄色 区 域 分 别 
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是 两 条 腿 或 者 两 只 胜 膊 ， 男 一 块 区 域 是 人 的 身体 ， 这 
些 区 域 的 长 度 值 、 宽 度 值 符合 人 体 大 小 比例 ， 且 彼此 
位 置 满足 一 定 的 几何 关系 , 则 有 很 大 可 能 是 色情 图 片 ， 
如 果 这 些 区 域 之 间 大 小 和 位 置 不 像 是 人 的 吴 体 ， 则 可 
以 排除 色情 图 片 的 嫌疑 。 


图 3 计算 肤色 区 域 的 几何 关系 

3.1.3 分 类 标准 

色情 : 裸露 敏感 部 位 ， 包 含 露骨 镜头 ， 描 述 性 交 
行为 和 色情 场景 的 图 片 ; 

性 感 : 衣着 暴露 但 没有 裸露 敏感 部 位 ; 

正常 : 非 色情 ， 非 性 感 图 片 。 
3.2 鉴 黄 识别 

图 像 暴 恕 识别 是 通过 海量 暴 恕 图 片 和 视频 数据 源 ， 
依托 分 布 式 深度 学 习 平 台 ， 准 确 地 对 图 片 视频 进行 暴 
忍 分 类 , 具体 支持 血腥 类 、 爆 炸 类 、 斩 首 、 游 行 集会 、 
打架 斗殴 、 警 民 冲 突 、 怒 怖 主义 、 战 争 军队 、 枪 文思 有 具 ， 
敏感 着 装 、 敏 感 文字 、 各 种 旗帜 等 不 同类 型 。 
3.2.1 步骤 

视频 首先 进行 预 处 理 ， 截 取 短视 频段 和 关键 图 像 
帧 。 


过 “ 卷 积 神经 网 络 ” 和 “循环 神经 网 络 ” 提取 
短视 频 的 特征 ; 通过 卷 积 网 络 提取 视频 帧 特征 。 
将 视频 特征 和 图 像 特征 进行 融合 。 
通过 全 卷 积 网 络 和 softmax 分 类 函数 确定 视频 的 类 


3.2.2 原理 
起 要 教会 机 器 去 识别 暴 丽 图像 ， 同 样 需 利 用 成 和 


不 断 记忆 。 每 一 类 暴怒 图 片 都 有 明显 的 特征 标识 ， 例 
如 枪支 、 七 首 、 刀 具 的 轮廓 ， 旗帜 图 案 的 轮廓 ， 爆 炸 
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场景 的 色差 等 ,通过 不 断 训练 机 占 去 记 住 这 些 暴 恐 的 
特征 ， 从 而 在 新 发 现 图 像 时 快速 比 对 特征 值 ， 从 而 发 
现 暴 恐 图 像 。 
3.2.3 分 类 标准 

正常 : 图 片 中 不 具备 有 暴 恐 特征 的 图 片 ; 

武器 / 持 武 器 者 : 图 片 中 出 现 枪 文 、 管 制 刀 具 或 
者 其 持 有 者 ; 

特定 人 物 : 图 片 中 出 现 已 知 慌 怖 分 子 头 目 、 政 治 
敏感 人 物 ; 

特殊 符号 : 图 片 中 (包括 书籍 ) 出 现 的 特殊 文字 ; 
暴 忒 犯罪 组 织 的 标志 ， 部 分 犯罪 分 子 电视 台 人 台 标 ， 部 
分 宗教 符号 ; 暴 疏 反动 组 织 的 旗帜 ; 

特殊 着 装 人 物 : 图 片 中 出 现 穿着 迷彩 服 、 军 装 ( 包 
括 警察 ， 特 警 和 武警 ) 、 特 丈 服饰 等 特征 ; 

国家 标识 : 图 片 中 包含 有 某 一 个 国家 的 国旗 、 国 
徽 或 者 两 者 ; 

血腥 场景 : 图 片 中 出 现 有 流血 、 手 术 、 车 祸 流 血 
等 场景 的 ; 

暴乱 场景 : 图 中 出 现 有 游行 、 斗 殴 、 焚 烧 等 场景 的 ; 

战争 场景 : 图 中 出 现 有 大 型 作战 武器 (如 坦克 、 
战斗 机 ) 、 爆 炸 、 成 群 军 人 的 。 
3.3 ”政治 人 物 识别 

政治 人 物 识别 是 基于 海量 人 脸 库 和 专业 审核 人 员 
的 审核 标准 ， 利 用 分 布 式 深度 学 习 平台 ， 识 别 正常 、 
漫画 、 负 面 涉 政 人 物 的 违规 信息 ， 降 低 违 规 风 险 ， 覆 
盖 涉 政 人 物 ， 具 体 包 括 国内 外 国家 元 首 、 副 国 级 以 上 
领导 人 、 落 马 官员 、 反 华 势力 和 劣迹 艺人 等 。 
3.4 ”图 文 垃圾 广告 识别 

采用 深度 学 习 算 法 ， 结 合 图 文 OCR 技术 、NLP 自 
然 语 言 处 理 技 术 对 图 片 中 的 图 像 、 文 字 、 水 印 进行 识 
别 , 准确 识别 出 含有 二 维 码 、 垃 圾 广告 、 色 情 、 涉 政 、 
辱 罗 等 垃圾 内 容 。 

垃圾 广告 : 含有 大 量 招 嫖 、 广 告 、 涉 黄 、 
文字 信息 的 图 片 。 

二 维 人 码 广告 : 含有 印 有 二 维 码 、 小 程序 码 等 内 容 
的 图 片 。 
结语 

随 着 媒体 融合 向 纵深 推进 ，5G 技术 的 加 快 布局 以 
及 大 数据 、 云 计算 、 物 联网 、 区 块 链 、 人 工 智 能 等 多 
种 新 兴 技 术 的 又 加 ， 中 央 、 各 省 主流 媒体 和 市 县 级 媒 
体 以 先进 技术 为 核心 动力 引领 驱动 融合 发 展 ， 着 力 问 
智慧 融 媒体 建设 转型 ， 从 而 重 塑 了 传媒 行业 的 生态 格 
局 ， 如 何 让 融 媒 体 作 品 智能 高 效 生产 的 同时 保证 内 容 
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安全 ， 成 为 国内 外 媒体 单位 、 科 研 机 构 和 技术 厂商 共 
同 探讨 的 话题 。 目前， 国内 已 有 优质 人 工 智能 技术 
厂商 ， 和 凭借 多 年 产品 、 技 术 沉淀 ， 正 在 加 强 研究 进 一 
步 尝 试 如 何 更 好 地 为 媒体 单位 提供 更 加 可 靠 的 多 模 态 
内 容 安全 审核 产品 与 服务 。 唤 


[1] 王 亚 逻 ， 王 晶 .人 工 智能 之 于 科技 期 刊 出 版 业态 的 变革 及 
启示 四. 中 国 传媒 科技 ，2023 (1 ) : 52-55. 

[2] 郭 字 辉 . 虚假 新 闻 核 查 评级 机 制 研究 
为 例 胃 . 中 国 传媒 科技 ，2022， (12 ) : 29-32. 

[3] 强 艳 丽 . 新 技术 对 媒体 业态 的 影响 及 媒体 数字 化 转型 研究 
胃 . 中 国 传媒 科技 ，2022 ( 2 ) : 103-105. 

[各 斑 正 芳 ， 赵 舌 . 重 构 传 播 价值 生态 链 实现 全 媒体 融合 发 
展 一 一 关于 广播 电视 台 运 营 发 展 的 若干 思考 中. 传播 力 
研究 ，2018 ( 29 ) . 

[5] 喻 国明 ， 刘 电 . 媒介 融合 时 代 基 于 大 数据 的 传媒 生产 创新 


以 NewsGuard 


ChinaXiv 合 作 期 刊 
传媒 技术 


轴 . 传媒 观察 ，2015 (9 ) . 

[6] 王 慧 .人工 智 能 技术 对 播音 主持 行业 的 影响 与 改变 
[有 .传媒 论坛 ，2019 (9 ) : 120. 

[7] 张 纤 ， 吴 建 侈 .基于 深度 特征 的 无 监督 图 像 检 索 研 
究 综述 四 .计算 机 研究 与 发 展 ，2018 (9) : 1829- 
1842. 

[8] 发 明 专 利 《 一 种 视频 内 容 审 核 系 统 与 方法 》[P]. 专利 号 : 
CN200610167182.7. 

[9] 宋 儿 ， 威 成 琳 ， 张 鹏 洲 . 知识 图 谱 技 术 在 新 闻 领 域 中 的 应 
用 思考 由 . 中 国 传媒 科技 ，2016 (5 ) : 19-21. 


作者 简介 : 刘 帆 (1979- ) ， 男 ,安徽 宿州 , 正高 级 职称 ， 
太极 计算 机 股份 有 限 公 司 助 理 总 裁 ， 研 究 方向 为 媒体 融合 ; 
王 风 美 (1988- ) ， 女 ,山东 ， 中 级 职称 ， 太 极 计算 机 股份 
有 限 公司 ， 研 究 方向 为 媒体 融合 、 媒 体 大 数据 应 用 。 


(责任 编辑 : 赵 国 旭 ) 


( 上 接 第 148 页 ) 


思 ] 宋 红 波 ， 王 雪 利 . 近 十 年 国内 语料库 语言 学 研究 综述 由. 
山东 外 语 教 学 ，2013 (3 ) : 41-47. 

[3] 中 国人 工 智能 产业 发 展 联盟 . AI 赋 能 : 驱动 产业 变革 的 
人 工 智能 应 用 [M]. 北京 : 人 民 邮 电 出 版 社 ，2019. 

[4] 中 国人 工 智能 产业 发 展 联盟 . 人 工 智能 浪潮 : 科技 改变 生 
活 的 100 个 前 沿 AI 应 用 [M]. 北京 : 人 民 邮 电 出 版 社 ， 
2018. 

[5] 李 苏 ， 曾 然 然 ， 般 治 纲 . AI 智能 语音 技术 与 产业 创新 实 
践 [MJ. 北京 人 民 邮 电 出 版 社 ，2021. 

[6] 将 恩 东 . 自然 语言 结构 计算 一 一 GPF 结构 分 析 框架 [MI]. 
北京 : 人 民 邮 电 出 版 社 ，2021. 

[7] 将 思 东 .自然 语言 结构 计算 一 一 BCC 语料库 [M]. 北京 : 
人 民 邮 电 出 版 社 ，2023. 

[8] 敬 轧 东 . 自然 语言 结构 计算 


意 合 图 理论 与 技术 [M]. 


北京 : 人 民 邮 电 出 版 社 ，2023. 

[9] 人 民 上 日报. 聚焦 2022 世 界 人 工 物 能 大 会 ， 加 速 赋 
能 实 体 经 济 [EB/OLl].https: //sdxw.iqilu.com/share/ 
YSOyMSOxMzMOMijc3Mw==.html，2022-09-06/2023- 
03 一 02. 

[10] 人 民 日 报 .习近平 总 书记 指出 ，“ 把 新 一 代 人 工 智能 作 

为 推动 科技 跨越 发 展 、 产 业 优 化 升级 、 生 产 力 整体 跃升 
的 驱动 力量 ， 努 力 实 现 高 质量 发 展 ”[EB/OL].http: // 
www.mvagov.cn/sy/xXxX/szyw/202209/t20220905_65267. 
html，2022--08--05/2023 一 03 一 03. 


作者 简介 : 刘 亚 珍 (1987- ) ， 女 ， 陕 西 ， 责 任 编辑 、 
策划 编辑 ， 研 究 方向 为 信息 通信 类 图 书 出 版 。 


责任 编辑 : 张 晓 婧 ) 


5 


